Efficient Transformer
https://gyazo.com/b57eabad5078779fe11a6ad2d6972a3e
Fixed Patterns
Blockwise Patterns
シーケンスを局所的なサイズにクロップ
Strided Patterns
ストライドで計算
Compressed Patterns
Combination of Patterns
Learnable Patterns
重要度が高いもののみ使用
Memory
Low-Rank Methods
Kernels
Recurrence